LongRCA Bench: Diagnosing Responsible Roles and Root Causes in Long-Horizon Agent Failures
LongRCA Bench：长程 Agent 失败责任角色与根因诊断基准
🧭 Agent 长轨迹故障根因定位
Computer Network Information Center, Chinese Academy of Sciences · Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences · Chongqing University · Institute of Computing Technology, Chinese Academy of Sciences · Singapore Management University
提出 LongRCA Bench 与训练无关的 RCTA 方法，将长轨迹 Agent 失败归因提升至 24.1% 精确根因步准确率
📌 工作参考价值（4 点）
- 可直接复用 RCTA 的两阶段归因流程：对电商导购、多步推荐、客服自动化等长轨迹 Agent，先按 segment 做摘要并检索可疑步骤，再回溯上游 handoff/指令做依赖定位；无需训练，便于在现有 LLM backbone 上快速部署。
- 故障归因评估应拆分 responsible-role accuracy 与 exact root-step accuracy：业务中先定位出错的角色/环节（如召回、排序、工具调用、策略手写）往往比直接定位具体步骤更易落地，也适合做监控告警和归因看板。
- 参考 LongRCA Bench 的构建方式：收集真实失败轨迹、避免注入错误、对最早决定性根因步骤做独立人工标注，可沉淀为自己的长会话 Agent bad case 离线回归库。
- 注意连最强基线也仅 13.2% 精确根因步准确率，说明长轨迹精确定位很难；不要依赖 LLM 一次性全轨迹归因，优先用分段摘要+依赖回溯缩小范围后再核验。